Meta-Cognitive Memory Policy Optimization for Long-Horizon LLM Agents
面向长时程LLM智能体的元认知记忆策略优化
🧭 记忆策略优化 · 元认知信念熵 ★ 深度解读
University of Science and Technology of China · Zhejiang University · Tencent
用信念熵(Belief Entropy)为中间记忆状态提供密集监督，解决长期记忆压缩的信用分配问题
📌 工作参考价值（4 点）
- 电商对话助手、推荐Agent等长交互场景可借鉴：用信念熵为记忆压缩步骤提供中间反馈，替代仅依赖最终结果的稀疏奖励，缓解“不知哪个总结环节出错”的信用分配问题。
- 设计锚定探测问题（如“基于当前记忆，任务进展如何，还缺什么信息？”），通过模型响应熵来量化记忆清晰度，可作为模块化奖励信号插入已有记忆策略训练中。
- 奖励构造方式可复用：将信念熵经sigmoid归一化为(0,1)奖励，再与最终任务奖励相加，实现放缩匹配与数值稳定；训练采用群组相对优势估计（GRPO风格），免学值函数，适合快速实验。
- 工程启发：推理时可用信念熵做最佳记忆轨迹的筛选，不额外训练即可提升性能；训练开销仅增加约12%，推理时可选关闭，适合在线系统。